MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training
MaskAlign: 用于高效扩散训练的 Token 子集表示对齐
🧭 高效扩散模型训练 · Token 子集对齐
The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences
提出随机 Token 子集对齐与预掩码混合，大幅加速扩散 Transformer 训练并提升生成质量。
📌 工作参考价值（4 点）
- 主要是学术贡献，面向电商/推荐/AI 业务可借鉴点有限，但以下思路可参考：
- 训练跨模态对齐模型（如商品图文匹配）时，可尝试随机屏蔽部分 token 进行子集对齐，并引入轻量 token mixing 模块，增强对不完整输入的鲁棒性。
- 梯度分析定位重要 token 的方法可迁移用于诊断推荐模型的特征对齐过程，识别哪些用户行为 Token 更关键。
- 随机子集采样减少了对齐所需计算量，可作为训练加速 trick 在资源受限时使用。